Welcome to Hands on deep learning!

02.02.02 处理缺失值

注意,“NaN”项代表缺失值。 为了处理缺失的数据,典型的方法包括插值法删除法, 其中插值法用一个替代值弥补缺失值,而删除法则直接忽略缺失值。 在这里,我们将考虑插值法。

通过位置索引iloc,我们将data分成inputs和outputs, 其中前者为data的前两列,而后者为data的最后一列。 对于inputs中缺少的数值,我们用同一列的均值替换“NaN”项。

import pandas as pd

data = pd.read_csv(r"D:\Pyobject2023\object\DeepLearning\data\house_tiny.csv")

print(data)

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]

inputs1 = inputs.fillna(inputs.mean(numeric_only=True)) #numeric_only=True不加会报错

#填充数值列的缺失值,可以使用 numeric_only=True 参数,让 mean() 只计算数值列的平均值,然后填充

print(inputs1)

返回值:

NumRooms Alley Price

0 NaN Pave 127500

1 2.0 NaN 106000

2 4.0 NaN 178100

3 NaN NaN 140000

NumRooms Alley

0 3.0 Pave

1 2.0 NaN

2 4.0 NaN

3 3.0 NaN

对于inputs中的类别值或离散值,我们将“NaN”视为一个类别。 由于“巷子类型”(“Alley”)列只接受两种类型的类别值“Pave”和“NaN”, pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1,“Alley_nan”的值设置为0。 缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。

inputs = pd.get_dummies(inputs, dummy_na=True)

print(inputs)

返回值:

NumRooms Alley_Pave Alley_nan

0 NaN True False

1 2.0 False True

2 4.0 False True

3 NaN False True